估计来自图像的3D人形和姿势的能力在许多环境中都可以是有用的。最近的方法探索了使用图形卷积网络并取得了有希望的结果。 3D形状由网格表示的事实是一个无向图形,使得图形卷积网络自然适合该问题。但是,图形卷积网络具有有限的表示功率。从图中的节点中的信息传递给连接的邻居,并且信息的传播需要连续的图形卷积。为了克服这种限制,我们提出了一种双尺度图形方法。我们使用从密集图中衍生的粗糙图来估计人类的3D姿势,以及密集图来估计3D形状。与密集图相比,粗糙图中的信息可以在更长的距离上传播。此外,有关姿势的信息可以指导恢复本地形状细节,反之亦然。我们认识到,粗糙和密集之间的连接本身是图形,并引入图形融合块以在具有不同尺度之间的图形之间交换信息。我们培训我们的模型端到端,并表明我们可以为几个评估数据集实现最先进的结果。
translated by 谷歌翻译
Causal deep learning (CDL) is a new and important research area in the larger field of machine learning. With CDL, researchers aim to structure and encode causal knowledge in the extremely flexible representation space of deep learning models. Doing so will lead to more informed, robust, and general predictions and inference -- which is important! However, CDL is still in its infancy. For example, it is not clear how we ought to compare different methods as they are so different in their output, the way they encode causal knowledge, or even how they represent this knowledge. This is a living paper that categorises methods in causal deep learning beyond Pearl's ladder of causation. We refine the rungs in Pearl's ladder, while also adding a separate dimension that categorises the parametric assumptions of both input and representation, arriving at the map of causal deep learning. Our map covers machine learning disciplines such as supervised learning, reinforcement learning, generative modelling and beyond. Our paradigm is a tool which helps researchers to: find benchmarks, compare methods, and most importantly: identify research gaps. With this work we aim to structure the avalanche of papers being published on causal deep learning. While papers on the topic are being published daily, our map remains fixed. We open-source our map for others to use as they see fit: perhaps to offer guidance in a related works section, or to better highlight the contribution of their paper.
translated by 谷歌翻译
未知的非线性动力学通常会限制前馈控制的跟踪性能。本文的目的是开发一个可以使用通用函数近似器来补偿这些未知非线性动力学的前馈控制框架。前馈控制器被参数化为基于物理模型和神经网络的平行组合,在该组合中,两者都共享相同的线性自回旋(AR)动力学。该参数化允许通过Sanathanan-Koerner(SK)迭代进行有效的输出误差优化。在每个Sk-itteration中,神经网络的输出在基于物理模型的子空间中通过基于正交投影的正则化受到惩罚,从而使神经网络仅捕获未建模的动力学,从而产生可解释的模型。
translated by 谷歌翻译
技能在就业市场和许多人力资源(HR)过程中起着核心作用。在其他数字经验之后,当今的在线工作市场有候选人希望根据他们的技能看到正确的机会。同样,企业越来越需要使用数据来确保其劳动力中的技能保持未来。但是,有关技能的结构化信息通常缺少,并且基于自我或经理评估的流程已证明与所得数据的采用,完整性和新鲜度有关。鉴于明确或仅隐含地描述了数千种可能的技能标签,并且缺乏精细注释的培训语料库,提取技能是一项艰巨的任务。以前的技能提取工作过于简化任务,将其用于明确的实体检测任务,或者基于手动注释的培训数据,如果应用于完整的技能词汇,这是不可行的。我们根据遥远的字面匹配,提出了一个用于技能提取的端到端系统。我们提出并评估了几种负面验证数据集中的几种负面抽样策略,以提高技能提取对隐式提及技能的推广,尽管在遥远的监督数据中缺乏这种隐性技能。我们观察到,使用ESCO分类法从相关技能中选择负面示例会产生最大的进步,并且在一个模型中结合三种不同的策略进一步提高了性能,在RP@5中最多可达8个百分点。我们介绍了基于ESCO分类法的手动注释评估基准,以进行技能提取,并在其上验证模型。我们发布基准数据集以进行研究目的,以刺激对任务的进一步研究。
translated by 谷歌翻译
在过去的几年中,自动睡眠评分的研究主要集中在开发日益复杂的深度学习体系结构上。但是,最近,这些方法仅实现了边际改进,通常以需要更多数据和更昂贵的培训程序为代价。尽管所有这些努力及其令人满意的表现,但在临床背景下,自动睡眠期临时解决方案并未被广泛采用。我们认为,由于很难训练,部署和繁殖,大多数对睡眠评分的深度学习解决方案在现实世界中的适用性受到限制。此外,这些解决方案缺乏可解释性和透明度,这通常是提高采用率的关键。在这项工作中,我们使用经典的机器学习来重新审视睡眠阶段分类的问题。结果表明,通过传统的机器学习管道可以实现最新的性能,该管道包括预处理,功能提取和简单的机器学习模型。特别是,我们分析了线性模型和非线性(梯度提升)模型的性能。我们的方法超过了两个公共数据集上的最新方法(使用相同的数据):Sleep--EDF SC-20(MF1 0.810)和Sleep-eDF ST(MF1 0.795),同时在Sleep-eDF上取得了竞争成果SC-78(MF1 0.775)和质量SS3(MF1 0.817)。我们表明,对于睡眠阶段评分任务,工程特征向量的表现力与深度学习模型的内部学表现相当。该观察结果为临床采用打开了大门,因为代表性功能向量允许利用传统机器学习模型的可解释性和成功记录。
translated by 谷歌翻译
最近,大型高质量的公共数据集导致了卷积神经网络的发展,这些神经网络可以在专家病理学家水平上检测乳腺癌的淋巴结转移。许多癌症,无论起源地点如何,都可以转移到淋巴结。但是,收集和注释每种癌症类型的高量,高质量数据集都是具有挑战性的。在本文中,我们研究了如何在多任务设置中最有效地利用现有的高质量数据集,以实现紧密相关的任务。具体而言,我们将探索不同的训练和领域适应策略,包括预防灾难性遗忘,用于结肠和头颈癌症转移淋巴结中的灾难性遗忘。我们的结果表明,两项癌症转移检测任务的最新性能。此外,我们显示了从一种癌症类型到另一种癌症的反复适应以获得多任务转移检测网络的有效性。最后,我们表明,利用现有的高质量数据集可以显着提高新目标任务的性能,并且可以使用正则化有效地减轻灾难性遗忘。
translated by 谷歌翻译
视觉分析可以说是熟悉数据的最重要步骤。时间序列尤其如此,因为此数据类型很难描述,并且在使用例如摘要统计信息时无法完全理解。要实现有效的时间序列可视化,必须满足四个要求;工具应为(1)交互式,(2)可扩展到数百万个数据点,(3)在常规数据科学环境中可集成,以及(4)高度可配置。我们观察到,开源Python可视化工具包在大多数视觉分析任务中赋予了数据科学家的能力,但是缺乏可扩展性和交互性的组合来实现有效的时间序列可视化。为了促进这些要求,我们创建了Plotly-Resampler,这是一个开源Python库。 Plotly-resampler是Plotly的Python绑定的附加组件,通过汇总基础数据,根据当前的图形视图来增强线图可伸缩性。绘制构建的绘制是活跃的,因为工具的反应性在定性上影响分析师在视觉探索和分析数据的方式。基准任务强调了我们的工具包在样本数和时间序列方面如何比替代方案更好。此外,Plotly-Resmpler的灵活数据聚合功能为研究新型聚合技术铺平了道路。 Plotly-Resampler的集成性以及其可配置性,便利性和高可扩展性,可以有效地分析您日常的Python环境中的高频数据。
translated by 谷歌翻译
特征选择是开发强大而强大的机器学习模型的关键步骤。特征选择技术可以分为两类:过滤器和包装器方法。尽管包装器方法通常会产生强大的预测性能,但它们具有很大的计算复杂性,因此需要大量时间完成,尤其是在处理高维度集合时。或者,滤波器方法的速度要快得多,但是遭受了其他几个缺点,例如(i)需要阈值值,(ii)不考虑特征之间的相互关系,并且(iii)忽略与模型的特征相互作用。为此,我们提出了一种新颖的包装器特征选择方法PowerShap,该方法将统计假设测试和功率计算与Shapley值结合使用,以进行快速和直观的特征选择。 PowerShap建立在核心假设的基础上:与已知的随机功能相比,信息功能将对预测产生更大的影响。基准和仿真表明,PowerShap的表现优于其他过滤器方法,具有与包装器方法相同的预测性能,同时显着更快,甚至达到执行时间的一半或三分之一。因此,PowerShap提供了一种竞争和快速算法,可以在不同域中的各种模型使用。此外,PowerShap是作为插件和开源的Sklearn组件实现的,可以轻松地集成在传统的数据科学管道中。通过提供自动模式,可以自动调整PowerShap算法的超参数,从而进一步增强用户体验,从而可以使用该算法而无需任何配置。
translated by 谷歌翻译
本文提出了一种新的FNC-1假新闻分类任务的方法,其中涉及使用类似NLP任务的预训练编码器模型,即句子相似性和自然语言推断,并提出了使用这种方法的两个神经网络架构。探讨了数据增强方法作为解决数据集中的类不平衡的一种手段,采用常见的先前存在的方法,并提出了一种使用新句子否定算法的代表性不足类中样本生成的方法。与现有基线相当的总体性能是可比的,而对于FNC-1的代表性不足但仍然重要的类别的准确性显着提高了准确性。
translated by 谷歌翻译
我们对无监督的结构学习感兴趣,特别关注有向的无环图形(DAG)模型。推断这些结构所需的计算通常在变量量中是超指定性的,因为推理需要扫描组合较大的潜在结构空间。也就是说,直到最近允许使用可区分的度量标准搜索此空间,大幅度缩短了搜索时间。尽管该技术(名为Notears)被广泛认为是在DAG-DISCOVERY中的开创性工作,但它承认了一个重要的属性,有利于可怜性:可运输性。在我们的论文中,我们介绍了D型结构,该结构通过新颖的结构和损失功能在发现的结构中恢复可运输性,同时保持完全可区分。由于D型结构仍然可区分,因此可以像以前使用Notears一样轻松地采用我们的方法。在我们的实验中,我们根据边缘准确性和结构锤距离验证了D结构。
translated by 谷歌翻译